Thiếu hoàng đế đã không trị vì được lâu do quân Bắc Chu ngay sau đó đã tiếp cận Nghiệp thành. Thay vì biến kinh đô thành một chiến trường tối hậu như Cao Mại đề xuất, Cao Vĩ đã quyết định chạy từ Nghiệp thành xuống các châu ở bờ nam Hoàng Hà, cố gắng tái tổ chức quân lính, và sẽ chạy trốn đến Trần nếu thất bại. Với ý định này, Cao Vĩ trước tiên cho đưa Thái hoàng thái hậu, Thái thượng hoàng hậu, và Cao Hằng đến Tế châu (濟州, nay gần tương ứng với Liêu Thành, Sơn Đông). Ngay sau đó, Cao Vĩ bỏ Nghiệp thành và đến Tế châu với gia đình. Khi đến nơi, ông ban một chiếu chỉ nhân danh thiếu hoàng đế để tiếp tục truyền ngôi lại cho thúc phụ Nhâm Thành vương Cao Giai (高湝), song thánh chỉ đã không đến được chỗ Cao Giai do Hộc Luật Hiếu Khanh (斛律孝卿) đã đầu hàng Bắc Chu sau khi rời khỏi Tế châu. Thánh chỉ này cũng trao cho Cao Hằng có một tước hiệu khác, song tước hiệu này được ghi chép khác biệt trong sử sách:. Bắc Tề thư ghi đó là "Thủ quốc thiên vương" (守國天王). Tư trị thông giám thì ghi là Tống quốc thiên vương (宋國天王), và Tư trị thông giám âm chú của Hồ Tam Tỉnh thì cho đó là "Tông quốc thiên vương" (宗國天王).

Trong khi đó, quân Bắc Chu tiếp tục truy đuổi, Cao Vĩ đã để Thái hoàng thái hậu ở lại Tế châu và tiếp tục cùng Thái thượng hoàng hậu quý phi Phùng Tiểu Liên và Cao Hằng và một số thân tín chạy đến Thanh châu (青州, nay gần tương ứng với Thanh Châu, Sơn Đông). Tuy nhiên, quân Bắc Chu cũng nhanh chóng tiến về Thanh châu, nhóm Cao Vĩ cố gắng chạy về phía nam đến Trần, song đã bị bắt giữ và bị giải trở lại Nghiệp thành, và tại đây họ được Bắc Chu Vũ Đế đối đãi một cách tôn trọng. Ngay sau đó, Bắc Chu nắm quyền kiểm soát hầu như toàn bộ lãnh thổ Bắc Tề, và khi Vũ Đế trở về kinh đô Trường An của mình, ông ta đã đưa Cao Vĩ cùng các thành viên hoàng tộc Bắc Tề trước đây đi theo.